Cá nhà táng nhỏ được nhà tự nhiên học Henri Marie Ducrotay de Blainville mô tả lần đầu năm 1838. Ông mô tả dựa trên đầu của một cá thể dạt trên bờ biển Audierne, Pháp năm 1784, mà sau đó được trưng bày ở Muséum d'histoire naturelle. Ông nhìn nhận rằng nó là một loài cá nhà táng, xếp nó vào chung chi với cá nhà táng thường (Physeter macrocephalus), dưới tên Physeter breviceps. Ông chú ý đến cái đầu nhỏ của nó, đặt nó cái tên "cachalot a tête courte"–cá nhà táng đầu bé; hơn nữa, tên loài breviceps trong tiếng Latinh có nghĩa là "đầu ngắn".[2] Năm 1846, nhà động vật học John Edward Gray dựng lên chi Kogia, và chuyển loài này qua đây với tên mới Kogia breviceps.[3]

Năm 1871, nhà động vật học Theodore Gill xếp cá nhà táng nhỏ và Euphysetes (nay là cá nhà táng lùn, Kogia sima) vào phân họ Kogiinae, còn cá nhà táng thường vào họ Physeterinae.[4] Hai phân họ này nay được nâng lên cấp họ.